Примеры кода по тегу disallowrobotstxt - база знаний для разработчиков ()

Disallow robots.txt - это файл, который позволяет веб-мастерам управлять поисковыми роботами, указывая правила, по которым им запрещено индексировать страницы и директории вашего сайта.
1